Robot Learning and Execution of Collaborative Manipulation Plans from YouTube Cooking Videos

People often watch videos on the web to learn how to cook new recipes, assemble furniture or repair a computer. We wish to enable robots with the very same capability. This is challenging; there is a large variation in manipulation actions and some videos even involve multiple persons, who collaborate by sharing and exchanging objects and tools. Furthermore, the learned representations need to be general enough to be transferable to robotic systems. On the other hand, previous work has shown that the space of human manipulation actions has a linguistic, hierarchical structure that relates actions to manipulated objects and tools. Building upon this theory of language for action, we propose a framework for understanding and executing demonstrated action sequences from full-length, unconstrained cooking videos on the web. The framework takes as input a cooking video annotated with object labels and bounding boxes, and outputs a collaborative manipulation action plan for one or more robotic arms. We demonstrate performance of the system in a standardized dataset of 100 YouTube cooking videos, as well as in three full-length Youtube videos that include collaborative actions between two participants. We additionally propose an open-source platform for executing the learned plans in a simulation environment as well as with an actual robotic arm

Human-robot cross-training: Computational formulation, modeling and evaluation of a human team training strategy

We design and evaluate human-robot cross-training, a strategy widely used and validated for effective human team training. Cross-training is an interactive planning method in which a human and a robot iteratively switch roles to learn a shared plan for a collaborative task. We first present a computational formulation of the robot's interrole knowledge and show that it is quantitatively comparable to the human mental model. Based on this encoding, we formulate human-robot cross-training and evaluate it in human subject experiments (n = 36). We compare human-robot cross-training to standard reinforcement learning techniques, and show that cross-training provides statistically significant improvements in quantitative team performance measures. Additionally, significant differences emerge in the perceived robot performance and human trust. These results support the hypothesis that effective and fluent human-robot teaming may be best achieved by modeling effective practices for human teamwork.ABB Inc.U.S. Commercial Regional CenterAlexander S. Onassis Public Benefit Foundatio

Die Zukunft von Artificial Intelligence bei M&A-Transaktionen : können sich Tools, basierend auf Künstliche Intelligenz, bei der Due Diligence von M&A-Transaktionen durchsetzen?

Bei Unternehmenstransaktionen gilt die Durchführung der Due Diligence als einer der relevantesten Schritte des Prozesses. Oft sind die Arbeitsabläufe sehr arbeits- und zeitintensiv. Meistens sind mehrere M&A-Dienstleister in den Prozess involviert, die ihre Themengebiete optimal aufteilen müssen. Damit möglichst alle Risiken erkannt werden, müssen teilweise unzählige Verträge und Dokumente überprüft werden. Seit Kurzem treten immer mehr Anbieter in den Markt, die diesen Prozess durch Artificial Intelligence (Künstliche Intelligenz) vereinfachen möchten. Da die meistens Anbieter StartupUnternehmungen sind, liegen noch keine mehrjährigen Erfahrungswerte über den Erfolg dieses Ansatzes vor. In dieser Bachelor-Thesis wird untersucht, bei welchen Due-Diligence-Typen das grösste Potenzial für eine Anwendung von Artificial Intelligence vorhanden ist, wie deren Mehrwert messbar ist und welche Interessengruppen die Initiatoren der Nutzung solcher Technologien sind. Ausserdem wird überprüft, welche Anbieter von Artificial Intelligence für den Bereich Due Diligence bereits auf dem Markt sind, welche Funktionen sie bieten und welche Vorteile daraus entstehen. Das Hauptziel der BachelorThesis ist es, anhand der Sachverhalte, zu klären, ob eine Durchsetzung von Artificial Intelligence im Due-Diligence-Prozess zukünftig möglich wäre